使用Onnxruntime对onnx模型量化介绍
这些步骤的目的是提高量化质量。 当张量的形状已知时,onnxruntime量化工具效果最佳。符号形状推理和 ONNX 形状推理都有助于找出张量的形状。符号形状推理最适用于基于变换器的模型,而 ONNX 形状推理则适用于其他模型。
模型 onnx csd onnx模型 onnxruntime 2025-10-13 04:45 1
这些步骤的目的是提高量化质量。 当张量的形状已知时,onnxruntime量化工具效果最佳。符号形状推理和 ONNX 形状推理都有助于找出张量的形状。符号形状推理最适用于基于变换器的模型,而 ONNX 形状推理则适用于其他模型。
模型 onnx csd onnx模型 onnxruntime 2025-10-13 04:45 1